資安專家警告，隨著人工智慧代理人（AI agent）數量快速成長，傳統上依賴人為審核的「人為介入」（human-in-the-loop）安全模式已無法應對挑戰，企業需轉向行動驅動的新防護策略。
全球企業正以史無前例的速度部署人工智慧代理人（AI agent），然而，這項技術的普及正對既有的資安防護策略帶來嚴峻挑戰。資安專家指出，過去常見的「人為介入」（human-in-the-loop）模式，面對未來龐大數量的AI代理人，恐將無法有效確保安全。
高德納諮詢公司（Gartner）的調查顯示，2025年財星五百大企業平均使用不到15個AI代理人。AI代理人 是一種能自主感知環境、進行決策並執行任務的軟體，例如自動回覆客服訊息或協助複雜的資料分析。但該公司預測，到了2028年，這個數字將暴增至超過15萬個。這種爆發式的成長，導致AI代理人逃脫測試環境的事件頻傳，引發各界對其安全與問責機制的高度關注。
面對AI代理人安全問題，許多組織傾向採行人為介入 的策略，即在AI代理人的運作流程中加入人為審核或批准環節。然而，Forrester Research分析師Jess Burn質疑：「如果一個人要審查數百個決策，或者他們批准的行動無法獨立驗證，甚至缺乏判斷專業知識，這究竟是有效的監督，還只是某種應付了事的行為？」Kudelski Security研究總監Nathan Hamiel更直言，人為介入往往只是為了在出問題時能有人承擔責任。
專家強調，AI代理人不能被視為傳統軟體組件。其運作模式在存取權限方面，與人類駭客有異曲同工之妙。因此，建構AI代理人安全 必須從「政策驅動」轉向「行動驅動」。Dreadnode共同創辦人Will Pearce表示，AI代理人的本質就是要超越傳統限制，若過度依賴人為介入，不僅成本高昂，更會限制其潛能。他認為，應讓AI代理人如同紅隊演練（red teaming）、滲透測試（pen testing）或漏洞掃描（vulnerability scanning）般運行並暴露弱點，從中學習以提升安全。企業應遵循最小權限原則，僅賦予AI代理人執行任務所需的最低存取權限。
微軟AI紅隊作業負責人Victoria Westeroff強調，若缺乏對AI代理人「意圖」（intentionality）與任務的明確預期，將難以監控其是否「越界」。因此，清晰定義AI代理人的行為準則、建立嚴格的角色與任務範圍，是監測與識別非預期行為的關鍵。透過從錯誤中學習，並持續改進安全防護機制，才能建立穩健的AI代理人安全生態系統。這需要能儲存和查詢數據的系統，以及沙盒（sandboxing）功能等技術支援。
然而，Will Pearce也坦承，AI代理人安全改進的連續性管理相當困難。當面對多代理人系統時，要理解跨多個代理人與執行者的行為，數據分析將變得異常複雜。Victoria Westeroff補充，目前缺乏將AI生態系統數據轉化為決策者能快速有效判讀的工具，這方面仍需大量投入。